/*
 * To change this template, choose Tools | Templates
 * and open the template in the editor.
 */
package org.simba.utils.tree;

import java.util.regex.Pattern;

/**
 *
 * @author lejtovicz
 */
public class TokenizationPatterns {
    // word characters
    public static final String WC = "[a-zA-Z���������������������������������������������������������������0-9]";
    // non-word characters
    public static final String NWC = "[^a-zA-Z���������������������������������������������������������������0-9]";
    // Satzzeichen am Anfang eines Satzes
    public static final String SZA = "[��]";
    // Satzzeichen im Inneren eines Satzes
    public static final String SZI = "[,;:-]";
    // Satzzeichen am Ende eines Satzes
    public static final String SZE = "[!?.]";
    // Satzzeichen paarweise
    public static final String SZP = "[\"'�`]";
    // Satzzeichen
    public static final String SZ = "[!?.,;:-��]";
    public static final String NSZ = "[^!?.,;:-��]";
    public static final String SZE2 = ".!?;";
    public static final String SW = WC + "+";
    public static final String AW = "[.-:'`]" + SW;
    public static final String WORD = SW + AW + AW + AW + AW + "|" + SW + AW + AW + AW + "|" + SW + AW + AW + "|" + SW + AW + "|" + SW;
    public static final Pattern wordPattern = Pattern.compile(WORD);
    // "($SZA)?($NWC+)?($WORD)($NWC+)?($SZE)?"
    public static final Pattern m2Pattern = Pattern.compile("(" + SZA + ")?(" + NWC + "+)?(" + WORD + ")(" + NWC + "+)?(" + SZE + ")?");
}
